Inference-Free Multimodal Learned Sparse Retrieval for Production-Scale Visual Document Search
面向生产级视觉文档搜索的免推断多模态稀疏检索
🧭 多模态稀疏检索 · 视觉文档搜索 ★ 深度解读
NAVER Corp. · Seoul National University · Naver Labs Europe
提出 caption-gated token supervision 解决视觉稀疏检索的词汇接地问题，使 V-SPLADE 在无神经查询编码下直接索引图文
📌 工作参考价值（4 点）
- 训练技巧可复用：caption-gated token supervision 利用 VLM 生成的 caption 来强化视觉稀疏表示中关键词汇维度的激活，这一思路可直接迁移到电商商品图片搜索，用商品描述或属性文案作为 caption 监督训练视觉-词汇对齐。
- 架构选择务实：采用 ModernVBERT 骨干 + SPLADE 风格的 LM head 投影 + Li-LSR 令牌查找，查询侧完全免去神经网络编码，部署时仅需倒排索引，这个设计组合适合工业界追求低延迟、高吞吐的检索场景。
- 互补性融合策略：稀疏表征与密集检索（如 ColModernVBERT）或 OCR BM25 进行相对分数融合（RSF）后，平均 NDCG@5 可从 60.1 提升至 64.5，电商搜索中可将视觉稀疏检索作为辅助信号低成本融入已有 pipeline。
- 工程实现启示：用训练时 gating 规避推理时的依赖，且文档编码速度比 OCR 和 caption 生成快 20 倍以上，适合大规模语料冷启动，对需要同时索引图文和产品的电商搜索系统有直接参考价值。